Sheikh Muhammad Tahir dilahirkan pada hari Selasa 4 Ramadhan 1286 Hijrah bersamaan 7 November 1869 di Ampat Angkat, Bukit Tinggi Minangkabau, Sumatra Barat. Bapanya seorang ulamak dikenali sebagai Sheikh Muhammad (juga bergelar Tuanku Muhammad atau Tuanku Cangking); datuknya keturunan bangsawan Minangkabau bernama Tuanku Ahmad Jalaluddin.

Beliau yatim ketika kecil lagi dan dibesarkan oleh keluarga pihak ibunya; dan apabila berumur hampir 12 tahun, telah dihantar ke Makkah untuk belajar dan mendalami ilmu-ilmu agama Islam. Beliau berada di Makkah selama lebih 12 tahun. Di antara bidang-bidang yang telah beliau perolehi dan perdalami ialah ilmu-ilmu al Qur'an, Hadith, Tauhid, Fiqah, Usul Fiqh, Nahu, Saraf, Bayan, Ma'ani, Badi', 'Arudh, Mantiq, Tafsir, Hisab Handasah dan Falak. Beliau banyak dipengaruhi oleh ilmu, pendekatan dan kealiman peribadi gurunya, Sheikh Ahmad Khatib iaitu saudara berpangkat sepupu dengannya yang pada waktu itu terlantik sebagai Mufti Mazhab Shafi'i di Masjidil Haram. Sheikh Tahir pulang ke Sumatra ketika berumur 24 tahun dan selepas 4 tahun di sana, sekali lagi berangkat ke Timur Tengah, kali ini ke Mesir.